学人说｜信息技术算法会加剧社会不平等吗？
▲ 来源：www.pexels.com
撰文：张洋
责编：李婷
我今天早晨打开网页逛了个淘宝，中午打开Facebook就看到了我在淘宝浏览的相似商品的“美国版淘宝”推送。我假期想和朋友订个机票出去玩玩，发现我和朋友看到的同一家航空公司的同一班飞机的机票价格在同一时间居然有差别。相信大家都知道这是基于信息技术算法做的针对性广告投放吧？这种算法能够精准投放广告靠的就是大规模的用户个人信息，除了你的性别、年龄、职业、种族，还包括你的GPS 位置，消费偏好，平时浏览网页的历史记录等等。
我们的手机、平板、个人电脑无时无刻不在向各种运营商发送我们碎片化且连续的个人信息。偶尔我会觉得这种用户针对性的广告推送很贴心，但更多时候我觉得内心非常崩溃。怀着这种被人监视的不爽心情，我认真地思考了一个问题，除了个人信息泄露这种老生常谈的问题，对于我们普通人来说，信息技术算法变得越来越强大对我们的生活还有什么其他负面影响呢？
▲ 来源：www.pexels.com
果然不止我一个人在担心这个问题，学者Virginia Eubanks老早就关注了这个问题，去做了扎实的田野观察，还写了一本通俗易懂的书《自动化不平等》（Automating Inequality）。今天我们来介绍一下Eubanks在洛杉矶，印第安纳和阿勒格尼三个县所做的田野调查，然后分析一下为什么信息技术算法会自动化社会不平等。
Eubanks在洛杉矶观察研究2013年开始实行的算法系统（coordinated entry system）是如何给无家可归的人自动分配住房服务和资源。在住房资源供给相对需求较小的情况下，算法系统可以给无家可归的人按照优先级排序然后分配相对应的服务和资源。
那么这个算法系统是如何给无家可归的人排序呢？首先，算法系统搜集了相关人员非常详细的个人信息（有些信息是隐私信息，比如家庭暴力和药物使用历史等等）。这些用户信息会被综合起来计算出一个“脆弱性”指数。那些具有高脆弱性特征的人群（“脆弱”指数得分较高者）会被优先安排住房服务。整个程序是不是听起来特别完美和科学？我们都知道没有一种程序和算法是完美的，这个住房算法系统也不例外。
▲ 来源：www.pexels.com
Eubanks根据田野访谈发现，这个住房算法系统对于那些排名最靠前和最靠后的人相对合理，可以帮助那些长期无家可归的人得到住房资源。但对于那些排名在中间的人（短期无家可归的人），该算法系统的工作就有点低效且不科学。除了这个算法设计本身的缺陷，Eubanks还发现了另一个非常值得关注的问题。住房算法系统搜集的贫困人群/工人阶级的详细个人信息并不是保密的，而是与许多其他政府部门共享的（比如警察系统）。这种个人信息的共享会使得很多无家可归的人不但没有通过住房系统获得相对应的资源和服务，反而受到更多的警方调查和盘问。警方系统的介入使他们的社会形象从“需要帮助的人”反而变成了“容易犯罪和难以管理的人”。这种负面的社会形象会在未来给他们的生活带来更多的不便，可能会进一步恶化他们的生活状况。
▲ 来源：www.pexels.com
Eubanks的第二个田野调查是关于印第安纳的家庭和社会服务部门（Family and Social Services Administration）所使用的自动化分配系统。该系统可以用来自动分配医疗资源，短期家庭资助和免费食品券。
美国的医疗系统和扶贫系统原本就设计复杂庞大，数字化系统改革的初期出现的最大问题是程序繁杂低效，很多家庭没有及时获得他们应得的资源。这个问题是任何系统改革在初期都可能会出现问题，除了这个普遍的问题，Eubanks还指出了一个被数字化系统所强化的社会问题。一旦数字化系统的决策被认为是科学的和不可置疑的，即使是系统所出现的问题也会被首先认为是用户的问题。比如，由于系统内部出现的问题使得部分用户的申请被驳回，工作人员会首先认为是用户没有达到补助要求而不会从系统本身寻找问题。这种由于系统内部问题导致的申请被“驳回”使得很多急需医疗服务的病人没有及时获得服务而错失最佳治疗时间。这种“系统至上”的思维方式首先惩罚的是“穷人”和“工人阶级”和非高社会阶层的人群。
▲ 来源：www.pexels.com
Eubanks的第三个田野调查是关于在阿勒格尼县对贫困和工人家庭实施的家庭审查系统（Family Screening Tool）。该系统设计的初衷是预测家庭中儿童被虐待和忽视的风险。该审查系统收集了将近十亿条电子记录，平均每人有800条信息记录在案，信息库涵盖的信息包括成年人的名字，社会保障号码，出生日期，地址等基本个人信息，还包括成年人所接受的公共福利，和儿童福利系统打交道的历史，是否是单亲家庭，精神健康和犯罪记录等等。家庭审查系统在这些信息的基础上构建统计模型来预测孩子被虐待和忽略的风险。
Eubanks指出这个系统有两个问题：第一，系统的预测准确率并不高；第二，该系统可以视为对贫困和工人家庭的全面监控。这是因为该系统收集了每个家庭成员，家庭每一代人的信息，统计预测模型是建立在社会网络结构基础上的。也就是说，即使个人虐待儿童的风险不高，但由于社会网络中的亲属虐待儿童的风险高，个人也会被贴上虐待儿童风险高的标签。这种跨越代际依靠社会网络的全景式监控本身就是一种社会歧视；其次，一旦该详细的个人信息被其他部门或者社会组织利用，这种歧视和惩罚会进一步加强。
▲ 来源：www.pexels.com
总结来说，信息技术算法之所以会惩罚穷人，除了算法本身不科学完善之外，另一个重要的原因在于信息收集和分析以人群分类，穷人和工人阶级的个人信息更容易被收集，因此他们更容易被监控和惩罚，这种监控和惩罚会进一步加剧社会不平等。虽然算法本身是客观的，它之所以能够成为加剧社会不平等的工具是由它背后对待“贫困”的价值观念驱动的。
Eubanks认为在美国，无论是左翼还是右翼都将“贫困”描绘成一种避之不及，需要拯救的形象。这种对“贫困”的负面描绘会使得“贫困人口”的社会形象恶化，社会信誉度降低。
Eubanks在她的书中将我们生活的世界比喻成“电子救济院”。她认为“电子救济院”随着信息技术算法的发展将是难以消除并且会长期持续。“自动化的不平等”惩罚的不仅仅是穷人，也会让我们所有人生活在一个充满歧视和不公平的世界里。
▲ 来源：www.pexels.com
除了Eubanks所担忧的社会不平等加剧的问题, 还有很多学者从不同角度对未来科技的发展持一种审慎怀疑的态度。谈到这里，我们不得不聊一下一位绕不开的社会学家米歇尔.福柯。早在二十世纪，在他的著作《规训与惩罚》中，他就曾预测人类对行为的矫正将从外界力量的规训（比如死刑和酷刑）转变成更为隐秘的自我规训（自我审查和忏悔），人类将生活在现代社会的全景监狱之中（Panopticon）。
沿袭着福柯的思路，另一位学者John Cheney-Lippold在他最新的著作《我们是数据》（We are data）就曾表达对人类个人信息被广泛搜集和分析的担忧。他认为信息技术算法会根据搜集的丰富的个人信息（例如性别、年龄、种族、国籍等等）在虚拟世界中为每个人创造一个“虚拟身份”, 这个“虚拟身份”可能会和现实世界的真实身份有不同。比如，我在谷歌广告推送的虚拟身份就是中年男性（虽然我是个奔三的女博士），他们就是以我这个“虚拟身份”给我推送信息和广告。这个“虚拟身份”会和现实世界的“真实身份”互动而进一步重新塑造我们的个人“身份”。Lippold认为这种由信息技术所构造的信息搜集系统是一种监视和控制系统，它会潜移默化地塑造和控制我们的行为。这种无可见的“控制”也可以被认为是福柯所提出的“自我规训”，而我们正生活在一个由信息技术算法所构建的全景监狱当中。
▲ 来源：www.pexels.com
当然啦，这篇文章并不是让我们对科学技术的发展产生恐惧之心而谈“算法”色变，而是让我们重新审慎对待科技的创新和发展，不要让科技发展成为加剧社会不平等和限制个人自由发展的枷锁。
参考文献
1. Eubanks, Virginia. Automating inequality: How high-tech tools profile, police, and punish the poor. St. Martin's Press, 2018.
2. Cheney-Lippold, John. We are data: Algorithms and the making of our digital selves. NYU Press, 2018.
3. Foucault, Michel. Discipline and punish: The birth of the prison. Vintage, 2012.
张洋
密歇根大学社会学系
博士
制版编辑：杨楠
- 更多相关文章 -
权威、严谨、客观
我们带你体验不一样的
情感婚姻生活